Theo các sử liệu, Hoàng Cao Khải bấy giờ đã có dinh cơ ở phố Tràng Thi, tuy nhiên ông vẫn muốn lập thêm dinh cơ để ở khi về già. Ông quyết định chọn khu vực ruộng trũng, ao hồ của bốn làng: Thịnh Quang, Nam Đồng, Khương Thượng và Yên Lãng (Láng) để xây dựng khu thái ấp, đặt tên là Thái Hà Ấp. Tên gọi Thái Hà được cho là ghép từ hai địa danh Đông Thái (tức làng Đông Thái tại Hà Tĩnh, quê hương của Hoàng Cao Khải) và Hà Nội.[3][4]

Đến năm 1899, chính quyền thực dân Pháp quyết định thành lập huyện Hoàn Long với vai trò là khu ngoại thành của Hà Nội, Thái Hà Ấp trở thành lỵ sở của huyện này.[5]

Theo số liệu đo đạc vào thời điểm đó, khu đất của Hoàng Cao Khải rộng đến 150 ha. Do đất đai nằm ở thế trũng, chính quyền đã cấp cho ông 2.000 đồng bạc để cải tạo lại khu đất. Ông cho đào kênh mương ngang dọc để thoát nước trong gần một năm, đất đào lên đem đi đắp nền. Những con kênh được đào rộng và thẳng còn đóng vai trò là đường hào tự nhiên bảo vệ khu ấp. Trong ấp được chia thành khoảng chục lô đất vuông vắn, dinh cơ của Hoàng Cao Khải chiếm khoảng một phần tư khu vực, ở góc đông nam đường cái (phố Tây Sơn ngày nay). Khu dinh cơ này có cổng chính, cổng phụ, cầu bắc qua hào, tường bao quanh kín đáo. Tư dinh của ông là một tòa nhà chín gian nằm sâu bên trong, được trang trí lộng lẫy với các bức hoành phi, câu đối, bức trướng, các sập gụ, các đồ đồng, đồ sứ quý giá. Lăng tẩm có nhà tiền tế, đường thần đạo đi giữa hai dãy tượng quan quân chầu hầu nối với chính tẩm xây bằng đá đẹp. Ngoài ra tại đây còn có sinh từ, tức đền thờ sống ông.[3][5]

Phần đất còn lại của ấp cũng được ông dành cho các quan chức xây biệt thự. Bên cạnh đó, ông còn khuyến khích dân chúng dựng nhà cửa xung quanh chùa Đồng Quang ở dưới chân gò Đống Đa, dọc hai bên đường cái thành một đoạn đường phố tấp nập. Thái Hà Ấp do đó nhanh chóng trở thành thị trấn – phố lớn, vào năm 1928 đã có 685 nhân khẩu.[5]

Từ thập niên 1910, nhiều cơ quan chính phủ thuê nhà trong ấp Thái Hà để làm trụ sở, như Viện Đại lý Pháp, Sở Đại chính Bắc Kỳ, Phòng thí nghiệm vi trùng học...[3] Năm 1927, chính quyền cho đặt tại đây một trại thu nhận trẻ lang thang.[5]